Phần phố Hàng Mây thuộc đất của giáp Hương Tượng, phường Hà Khẩu; phần phố Hàng Mã thuộc thôn Dũng Thọ, Hàng Mã này khác với phố Hàng Mã ở gần chợ Đồng Xuân. Phường Hà Khẩu gần cửa sông Tô Lịch nối ra sông Hồng.

Thời Pháp thuộc, phố có tên là Rue des Pavillons Noirs nghĩa là phố Quân Cờ Đen vì năm 1883 có một đơn vị quân Cờ Đen đóng ở phố này. Pháp cũng đặt một số công sở ở khu vực này vì gần với bến sông và khu buôn bán của người Hoa. Một số lái buôn người Pháp tập trung về khu phố này buôn bán.